I 2018 kom nyheten om at Amazon vraket sitt eget sorteringsverktøy for jobbsøknader. Selskapet hadde brukt kunstig intelligens (AI) til å velge hvem som skulle kalles inn til intervju.

Men så viste AI-modellen seg å ha en alvorlig mangel. Den likte nemlig ikke kvinner.

– Plutselig oppdaget de at ingen kvinner var på intervju lenger. Kunstig intelligens leter etter den enkleste veien frem til målet. Og ved å sortere ut alle kvinnene oppdaget modellen at den fikk gode nok resultater, forteller forsker og informatiker Samia Touileb.

AI ombestemmer seg ikke

– Problemet til Amazon var ikke modellen, men datasettet. Amazon brukte data fra egne ansatte i tekniske stillinger. Der hadde de nok enten en stor overvekt av menn eller flere eksempler på gode søknader fra menn enn fra kvinner, forteller Touileb.

Og når en AI-modell først har trukket en slutning, for eksempel at kvinner passer dårlig i tekniske stillinger, så holder den seg til det.

– Modellene tenker jo ikke. De forsøker bare å løse problemet. Og hvis modellen tar riktig avgjørelse for eksempel 90 prosent av tiden, er det en god modell, sier Touileb.

Og det kunne altså Amazons modell oppnå ved å sortere ut alle kvinnelige jobbsøkere, uavhengig av hvor gode CV-er de hadde.

Bruker hele internett som datasett

Da forskere først utviklet kunstig intelligens for 60 år siden, var datasettene mindre, og det var mulig å kontrollregne manuelt for å undersøke hvordan modellene kom frem til svarene sine.

– Men nå er datasettene så store og modellene så kompliserte at det er vanskelig å vite hvorfor en modell har tatt en avgjørelse, forteller Touileb.

I dag er såkalt «deep learning» vanlig, hvor datamodellene tilegner seg kunnskap ut fra enorme datamengder.

Ved å la seg inspirere av menneskehjernen finner de mønstre og tendenser og bruker dem så i oppgavene de får. Enkelte modeller bruker hele internett som datasett.

– Vi har nok overvurdert modellenes evne til å ignorere problematisk innhold i datasettene. Derfor ender vi opp med modeller som tar rasistiske eller sjåvinistiske avgjørelser. Og i dag har vi dessverre ingen gode løsninger på det. Vi kan slette eller redusere skjevheter vi vet om, men vi klarer ikke å finne alle skjevhetene, forklarer Touileb.

Autonome våpen

Touileb mener at problemene med kunstig intelligens gjør at man burde vært svært varsom når man tar det i bruk der det kan forårsake skade.

– Vi bør for eksempel vurdere om vi skal bruke autonome våpen. Hvis en AI-modell skal vurdere om noen skal drepes eller ikke, må vi ta det veldig alvorlig. Vi vet for eksempel allerede at modeller kan være rasistiske. Hvis en slik AI-modell forbinder en etnisitet med en bestemt hudfarge, er det åpenbart svært problematisk, sier Touileb.

Hun er også bekymret for at NAV og Utlendingsdirektoratet (UDI) jobber med å utvikle AI-modeller som blant annet kan brukes i saksbehandling.

– Som forsker gjør det meg bekymret. Hvis kunstig intelligens skal være med på å avgjøre hvem som skal få støtte eller opphold, må de ha veldig god oversikt over innholdet i datasettet de bruker. Hvis ikke risikerer de å gjøre stor skade, sier hun.

Den nyeste utgaven av podcasten UiB Popviten handler om hvorfor AI noen ganger oppfører seg som en fordomsfull, rasistisk sjåvinist. Hør flere eksempler i episoden her:

Artikkelen er produsert og finansiert av Universitetet i Bergen

Universitetet i Bergen er én av over 80 eiere av forskning.no. Deres kommunikasjonsansatte leverer innhold til forskning.no. Vi merker dette innholdet for å tydelig skille formidling fra uavhengig redaksjonelt stoff.
Her kan du lese mer om ordningen.

Les flere artikler fra Universitetet i Bergen her.

forskning.no vil gjerne høre fra deg!
Har du en tilbakemelding, spørsmål, ros eller kritikk? TA KONTAKT HER